from langchain.text_splitter import CharacterTextSplitter

# 加载要切割的文档
with open(file="../kecheng源码/test.txt", encoding="utf-8") as f:
    zuizhonghuanxiang = f.read()

# 初始化切割器
text_splitter = CharacterTextSplitter(
    separator="。", # 切割的标志字符，默认是\n\n
    chunk_size=50,  # 切分的文本块大小，一般通过长度函数计算
    chunk_overlap=20,  # 切分的文本块重叠大小，一般通过长度函数计算
    length_function=len,  # 长度函数，也可以传递tokenize函数
    add_start_index=True,  # 是否添加起始索引
    is_separator_regex=False, # 是否是正则表达式
)
text = text_splitter.create_documents([zuizhonghuanxiang])
print(text[0])

